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) Verfahren zur Spracherkennung durch einen Rechner 

Das Verfahren ermogficht eine beschleunigte Klassifika- 
tion innerhalb eines Spracherkennungssystems. Dazu wind 
phonetisches Wissen in Form von Distanzen zu Lauteinhei- 
ten benutzt urn Keretfv die Gute der Klassrfikation zu 
verbessem. Fur einen vorgebbaren Kontextgrad wird eine 
minimale Dtstanz von Merkmatevektor zu vorhandenen Laut- 
einheiten berechnet und in einem nachsten Schritt innerhalb 
eines vorgebbaren Bereichs um das gefundene Minimum 
Abstande berechnet zu Lauteinheiten mit hone rem Kontext- 
grad. SchlieBlich werden die klassifizierten Lauteinheiten zu 
Sprache zusammengesetzt. 
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Beschreibung 

Die Erfindung betrifft ein Verfahren zur Spracherkennung durcfa einen Rechner. 

Spracherkennung beginnt bei der Erfassung eines Sprachsignals in Form einer Abtastung and Dighalisienmg. 
5 Es f Igt eine Merkmalsextraktion (Vorverarbehung) und ine Klassifikation (auch: Distanzberechnung) des 
vorverarbeiteten Sprachsignals. Im letzten Schritt der Spracherkennung (Suche) werden WortmodeDe zugeord- 
net, es ergibt sich eine erkannte Wortsequenz (siehe [1]). 

Die Distanzberechnung steDt den rechenintensivsten Schritt bei der Spracherkennung dar. Je nach Anwen- 
dungsfaD kann dabei der AnteQ der bendtigten Rechenleistung fur die Distanzberechnung bis zu uber 80% des 4 
to gesamten Berechnungsaufwands des Spracherkenners betragen. ^ * 

In [2] ist ein Verfahren zur Distanzberechnung genannt, das gegenuber der Erfindung den Nachtefl aufweist, 
daB statistische Cluster entsprechend statistischer VerteQungen angeordnet sind, somh die Gute der Spracher* * 
kennung direkt von der Anzahl der Cluster abhangt und der Berechnungsaufwand hoch ist 
A us [3] sind Hidden-Markov-ModeUe (HMMs) zur Laut* und WortmodeDierung bekannt. Weiterhin sind in [4] 
15 kontinuierGche mehrcfimensionale, meist multivariate, Verteflungen (z. B. Laplace- oder GauB-VerteDungen) fur 
die ModeUierung der Merkmale implementiert. 

Die Aufgabe der Erfindung besteht darin, ein Verfahren zur Distanzberechnung anzugeben, das erne schnelle 
Klassifikation eines Merkmalsvektors (mh vorgebbarer Genauigkeit) ennoglicht. 
Diese Aufgabe wird gemaB den MerkmaJen des Patentanspruchs 1 gelost 
20 Zu diskreten Abtastzeitpunkten wird ein Sprachsignal mh einer vorgebbaren Taktrate abgetastet und dighafi- 
siert Zu jedem Abtastzeitpunkt wird das Sprachsignal in einen Merkmalsvektor mh vorgebbarer Dimension 
abgebfldet Zur Durchfuhrung der Distanzberechnung werden Abstande des jeweOigen Merkmalsvektors zu 
vorgebbaren Mustervektoren bestimmt 

Die Mustervektoren steDen unterscheidbare Lauteinhehen der Sprache dar. Jede Lauteinheh verfugt uber 
25 einen Kontextgrad, der angibt, wie weh der Kontext der Lauteinheh reicht 

Zunachst wird zu ersten Mustervektoren, die Lauteinhehen mh einem vorgebbaren ersten Kontextgrad 
darstellen, jeweQs ein Abstand zu dem Merkmalsvektor berechnet Aus all den so berechneten ersten Abstanden 
wird ein erstes Minimum der ersten Abstande ausgewahh. 
Um eine genauere Klassifikation des Merkmalsvektors vornehmen zu kdnnen, werden in einem nachsten 
30 Schritt zweite Mustervektoren, die Lauteinhehen mh einem zwehen Kontextgrad darstellen, wobei der zweite 
Kontextgrad groBer als der erste Kontextgrad ist, innerhalb eines vorgebbaren Bereichs um die durch das erste 
Minimum klassifizierte Lauteinheh zur Berechnung von zwehen Abstanden herangezogen. Ein zwehes Mini- 
mum der zwehen Abstande klassifiziert eine Lauteinheit mh einem gegenuber der zu dem ersten Minimum 
gehorenden Lauteinheit hdherem Kontextgrad. 
35 Reicht die Gute der durchgefuhrten Klassifikation des Merkmalsvektors aus, so kann das Verfahren b een det 
werden, indem Sprache aus klassifizierten Lauteinhehen zusammengesetzt und somh erkannt winL 

SoD eine genauere Klassifikation erfolgen, so wird nochmals der Kontextgrad der zu unters uch e nde n Lautein- 
heiten erhoht, und somh in einem vorgebbaren Bereich um (fie zuletzt das zuletzt klassiftzierte Minimum 
Abstande zu dem Merkmalsvektor berechnet. Diese Iteration kann beliebig oft wiederhoh werden, um em 
40 immer besseres Ergebnis zu erhalten. Allerdings genugt eine Klassifikation mh hohem Kontextgrad nicht mehr 
der Forderung nach einer Echtzehbedingung, da die Erhdhung des Kontextgrads den Aufwand fur die Berech- 
nung der Klassifikation typischerweise exponentieD ansteigen laBt 

Eine WeiterbOdung des erfindungsgemaBen Verf ahrens besteht darin» bei Verwendung von Lauteinhehen mh 
hoherem Kontextgrad den nachsthoheren Kontextgrad auszuwahlen. 
45 Die Erfindung kann dahingehend wehergebOdet werden, daB zu Beginn des Verfahrens Lauteinhehen mh 
dem Kontextgrad "1* verwendet werden. 

Weiterhin kdnnen als solche Lauteinhehen zu Beginn des erfmdungsgemaBen Verfahrens Phoneme oder 
Monophone einer Sprache verwendet werden. 
Eine andere WeiterbQdung der Erfindung besteht darin, Diphone oder Triphone oder aus mehreren Phone- 
50 men zusammengesetzte Laute als Lauteinhehen zu verwenden. 

In den Figuren sind Ausfuhrungsbeispiele der Erfindung dargesteDt, die im weheren naher eriautert werden. 
Es zeigen 

Fig. 1 ein Blockdiagramm, das Schritte des erfmdungsgemSBen Verfahrens enthah. 
Fig. 2 eine Skizze, die die Erfindung im zweidimensionalen Merkmalsraum veransdiaulicht. 
55 In Fig. 1 werden Schritte des erfmdungsgemaBen Verfahrens fur die Berechnung der Distanz einer Unterein- 
heit dargesteDt 

Vektoren werden nachfolgend als kleine fettgedruckte Zeichen oder mh einem Pfe3» Matrizen als groBe \ 
fettgedruckte Zeichen dargestellt 

Gesprochene Sprache wird abgetastet und in digitahsierter Form einem Rechner zuga ngfic h gemacht In 
60 Schritt la, der Vorverarbeitung, wird demzufolge in regehnafiigen Abstand (z. B. alle 10ms) ein Merkmalsvektor t 
x, der das aktueOe Sprachsignal reprasentiert, der Dimension Ds (typische Werte fur die Dimensi n: 20*64) 
ermhteh. 

Worter werden aus Einhehen modeDiert, die eine Abfolge von Zustanden in einem Hidden-Markov-ModeB 
(siehe ausfuhrliche Beschreibung in [3]) darstellen. Soldie Einhehen sind zumeist Phoneme, es kdnnen aber auch 
65 Halbsilben, Sflben oder andere Einhehen verwendet werden. Eine Gesamtanzahl von Untereinhehen No, die cfie 
kleinsten sich unterscheidenden Einheiten v n Sprache darstellen, schwankt je nach System und gewunschter 
AppGkation (z. B. Einzehvorterkennung, k ntinuierfiche Sprache, Sprecheninabhangigkeit) zwischen weniger 
als 100 und mehreren 1000 Untereinhehen No. 
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Bei der Distanzberechnung (siehe Fig. 1. Schritte lb bis 10 geht es darum, fur alle Untercmheiten No 
akustische Distanzen gemaB einer verwendeten modellierenden Verteflung zu berectoen.Fur jede Untereinhett 
u werden hWu) Verteflungen zur Modeffiemng benutzt, wobei rich Nv(u) fur jede Untereinheh u unterscheiden 
kann. Typische Werte fur N^u) liegen zwisch n 1 und 10a Bei Verwendung von GauB-Verteflungen werden 
diese dargestelh als 

wobei pj der Dx-dimenstonale Mittelpunktsvektor und C die Dr-dimensionale Kovarianzmatrix der mh j in<fi- 
zierten GauB- Verteflung gj bezeichnea v . _ . , , _ 

Die Gesamtverteihmg fur eine Untereinheh u (Summe der GauB- Verteflungen) wird dargestellt durcft go- Es 
handelt sich dabei um die mh Cj gewichtete Summe der einzelnen Verteflungen: 

9u - E<=j x gj (2). 

Es ist ublkh, von diagonal en Kovarianzrnatrizen der GauBverteflungen auszugehen. oy bezeichnet dann die 
i-te Komponente der Varianz der VerteDung j. Die Wahrscheinlkhkeh dafQr, daB eine bestimmte Untereinheh a 
auf getr eten ist, wenn der beobachtete Merkmalsvektor x voriiegt, berechnet sich zn: 25 

i=l 

w bei k eine vorgebbare implementierungsabh§ngige Konstante ist # 35 

Eine verwendete Nahening geht davon aus> daB die Wahrscheinlichkeit einer Untereinheh u von der Wahr- 
scheinlichkeit der "besten" (« wahrscheinlichsten) VerteOung dominiert wiitL Dies bedeutet, daB » Gleichung 
(3) die auBere Summe durch einen max-Operator ersetzt werden kann. Es ist aber immer noch die Berechnung 
der Wahrecheinlichkehen aJler Verteflungen notwendig, denn erst dann kann der max-Operator ausgewertet 
werden: 40 
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3. 



i=l 



(4) 



V(j 6 {l.....^(u)}) 

Um die Berechnung des komplexen Terms in Gleichung (4) zu umgehen, wird Gleichung (4) loganthmiert, man 
spricht dann von Distanzen ansteUe von Wahrscheinlichkehen und bezeichnet diese Distanzen nut d<<x> Nacfa 
Umformen ergibt sich folgende Gleichung zur Berechnung der Distanz der akustischen Untereinheit u ba 
V rliegendesbetrachtetenMerkmakvektorsx: 



50 



55 



60 



65 



DE 197 19 381 CI 



10 



d u (x) - min-jjl^j + K 2 ,j x 2 ( x i " ^iifj 

(5), 

V(j e {l....,*^)}) 



wobei Kij und K^j von der Realisierung abhangige vorgebbafe Konstanten darsteOen, die einmal im Voraus 
berechnet werden konnen. 

AiinBche Berechnungsschemata ergeben sich auch bei Verwendung anderer Verteflungen, z. B. der Laplace- 
Verteflung, und schranken das erfindungsgemaBe Verfahren nicht auf die ausgefuhrte VerteOungsvariante ein. 
15 Gleichung (5) wird fur alle Untereinheiten u ausgewertet Die Gesamtzahl aDer Verteflungen im System fur 
alle Untereinheiten u sei N T und berechnet sich zu 



20 N v - D N v (k) (6). 
k=l 

Das bedeutet, dafi aOe 10ms (aOe 10ms wird ein Merkmalsvektor ersteDt) Nv-mal ein Dr-dimensionaler 
2s Abstand berechnet wird, wobei N T bei Systemen typischerweise im Bereich 1000*500 000 fiegt. Diese Berech- 
nung kann heutzutage von einem hartdelsubficfcen Rechner (PC, Workstation, Signalprozessor) nicht unter 
Einhahung der Echtzeitbedingung durchgefuhrt werden. 

Das erfindungsgemaBe Verfahren zeichnet sich dadurch aus, daB phonetisches Wissen zur Bestimmung einer 
Untermenge von Reprasentanten herangezogen wird. Es findet ein direktes Oustering von Untereinheiten statt. 
30 Die Erfindung verwendet als ein primares Kriterium zur Ermittlung einer geeigneten Untermenge zu berecb- 
nender Distanzen das Wissen urn den phonetischen Kontext der modellierten (Sprach-)Segmente bzw. Unterein- 
heiten. 

Zur Erlauterung des erfmdungsgemaBen Verf ahrens wird von der Verwendung von Fbonemen als Basis-Laut- 
einheiten fur die Spracherkennung ausgegangen. Das Verfahren ist jedoch auf fur andere Lauteinheiten als 
35 Phoneme reaGsierbar. 

Ein typisches Spradierkennungssystem enthah ca. 40—60 Basis-Lauteinhehen. Bei solchen Basis-Lauteinhei- 
ten handelt es sich urn kontextunabhangige Lauteinheiten. Urn Sprache genauer Ma ssilizieren zu konnen, 
werden Basis-Lauteinhehen in Abhangigkeit der vorangehend e n und nachfolgenden Basis- Lauteinheiten gebfl* 
det 

40 Heutzutage werden Diphone, d h. zwei Phoneme bestimmen die Untereinheit (ein Nacfabarphonem wird zur 
KontextbOdung herangezogen), Triphone. d h. drei Phoneme bestimmen die Untereinheit und Quinphone, d. h. 
funf Phoneme bestimmen die Untereinheit, verwendet 
Kontext- abhangige Lauteinheiten werden wie folgt notiert: 

45 Lfi-l....,i-lLi+l«— i+r) (7) 

wobei i einen Zentrallaut markiert, bei dem 1 Laute im vorangehenden («Gnken) Kontext und r Laute im 
nachfolgenden ( «= rechten) Kontext zur Bestimmung der Untereinheit berucksichtigt werden. Es liegt Homnarfr 
ein (1 +r+ 1)-Laut vor. 

50 Durch diese hier beschriebene Modellierung kann sich die Anzahl der Lauteinheiten mh hdherem Kontext- 
grad, in Abhangigkeit der jewefligen Anwendung auf mehrere 1000 erhohen, da die Anzahl der verschiedenen 
theoretisch mSglichen Lauteinheiten mh der Potenz der berucksichtigten Kontextlange w§chst 

Neben den kontext-abhangigen Lauteinheiten werden zusatzHch kontext-unabhangige Lauteinheiten (— 
Basis-Lauteinheiten) implementiert Diese Basis- Lauteinheiten dienen bei "Fastlook-aheacP-Methoden zur 

55 schnellen Vorauswahl von Hypothesen in der Suche nach einer Klassifikation ones Merkmalsvektors oder 
werden zur Modellierung von Wortern herangezogen, wenn wahrend einer Trainingsphase des Spracherken- 
nungssystems zu wenige Ergebnisse vorlagen, urn modeQierende Verteflungen nach Gleichung (2) fur die 
detaillierten Untereinheiten (im weheren Kontext) zu bestimmen. 
Fur alle Lauteinheiten (Untereinheiten u) wird ein Kontextgrad Gx bestimmt, der angibt, wie w&t der 

60 Kontext der jewefligen Lauteinheit reicht Fur Basis-Lauteinheiten (kontextunabhSngige Untereinheiten) gilt 
Gk= 1, fur Diphone gflt Gk=2, fur Triphone gilt Gk«=3, usw. Fur kontextahhangige Lauteinheiten gilt gen&fi 
Gleichung (7) fur den Kontextgrad 
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GK-l+r+1 (8). 

In der Erfindung wird zur Entscheidung, ob die Distanz einer Lauteinheit genauer (in einem hdheren Detafllie- 
ningsgrad) berechnet werden soli, die Distanz der gleichen Lauteinheit im kleineren Kontextgrad (= abstrakte* 
ren Kontext) herangezogen. Das bedeutet daB zur Entscheidung, ob die Distanz fur die Lauteinheit 
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140-1,. .-,i-l|,i+l,.-.i+r) 

explizit berechnet wird, die Distanz fur einen abstrakteren Laut 

herangezogen wird, wobei gilt b<l r2<r. Der Vortefl Uegt darin, da& fur aHe Lj( . . . X bei denen h<% ra<r gih, 
die Distanz der gleichen abstrakten Untereinheh Labs zur Entscheidung verwendet werden kann. Demzufolge 
wird bei der Wahl der abstrakten Lauteinheit bis auf die Basis-Lauteinhehen zuruckgegriffen, fur die gfltl=r«=Ol 

Sodann wird die optimale Distanz dopt aus alien Distanzen der abstrakten Lauteinheiten berechnet (siehe 10 
Fig. 1, Schritt lc> 



dopt = miBjfdab^i} V(i e {l, . . . , N u#abs }) (9) 



Nabs S Nv 



(13) . 
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wobei Nu^bs eine Anzahl der abstrakten Lauteinheiten bezeichnet und Nabs die Anzahl der Verteilungen, die die 
Nuabs abstrakten Lauteinheiten modelfiert, bezeichnet 

Im Schritt le werden fur Lauteinheiten mh hoherem Kontextgrad die Distanzen explizit berechnet, wobei die 
Bedingung 20 

dqjbs < dopt + thr (10) 

vorschreibt, dafi innerhalb eines vorgebbaren Bereichs (gekennzeichnet durch den vorgebbaren Wert thr) um 
das nach Gleichung (9) errechnet Minimum dopt abstrakte Lauteinheiten du^bs zu einer detaillierteren Klassifi- 25 
zierung des Merkmalsvektors herangezogen werden (Schritt Id). 

Fur den vorgebbaren Wert thr kann gehen: thr = const, dh.es wird eine Konstante durch Vorberechnung 
bestimmt, oder der Wert thr wird impGzit abhangig von dem augenblicklichen Merkmalsvektor x ausgewahlt 
gemaB 

30 

thr = K*rX dopt (HX 

wobei Ktfar ein vorgebbarer Wert ist 

Fur aHe Lauteinheiten, deren Distanz der abstrakten Lauteinheit nach Gleidiung (1 1) nicht innerhalb des 
durch den Wert thr vorgebbaren Bereichs liegt, d h. deren Distanz zu groB ist, wird gesetzt: 35 

d^L<i-l,...,i-l|,i+l,...i+r)) = d(Ub s ) (12). 

Somh wird die Distanz der abstrakten Untereinheh gewahlt, wodurch (fie explizite Berechnung der Distanz 
eingespart wird. 40 

Die Anzahl der explizit zu berechnenden Verteflungen wird mit N t bezeichnet, wobei N t ^Nv gilt Werden 
nun abstrakte Lauteinheiten zur Eotscheidungsfmdung nach Gleichung (10) ausgewahlt, die gleichzehig TeQ des 
Spracherkennungssystems sind wie bspw. die Basis-Lauteinheiten, sind die Verteflungen der abstrakten Lautein- 
heiten Nabs eine Teflmenge der modeQierenden Verteflungen 
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Somh gilt: » 

Nges - Nabs + N t <Nv (14). 

Auf diese Weise ist immer sichergestelh, dafi nie mehr Verteilungen berechnet werden mfissen. als das 
eigentliche System beinhaltet, da die zur Entscheidung herangezogenen Lauteinheiten bzw. Verteilungen Tefl 55 
des Systems sind 

GemaB obiger Beschreibung wird also innerhalb des durch den Wert thr vorgegebenen Bereichs wiedennn 
ein Minimum der Abstande dopt ermittelt (Schritt If) und wenn die Gute der Klassifikation ausreicht (Schritt left 
das Verfahren beendet, indem Lauteinheiten zusammengesetzt werden (Schritt lg) und somit Sprache erkannt 
t wird Ist hingegen die Gute der Klassifikation noch nicht ausreichend so wird zu Schritt le gesprungen und das go 

Verfahren iteriert 

Id Fig. 2 wird beispielhaft die Klassifikation im zweidimensi nalen Merkmalsraum (xl, x2) vera n s ch au li c h t In 
Fig. 2a sind ein Merkmalsvektor MV f und drei Lauteinheiten LEI, LE2 und LE3 mh demselben Kontextgrad 
dargesteDt Zu jeder Lauteinheit LEI, LE2 und LE3 wird jewefls eine Distanz dl, 62 und d3 berechnet. Das 
Minimum aus den Distanzen, hier der Abstand dl, wird gemaB Gleichung (9) ausgewahlt ^ & 

In Fig. 2b wird um das ausgewahlte Minimum ein vorgebbarer Bereich gemaB Gleidiung (10) gekennzeichnet 
durch dl + thr, bestimmt Im Beispiel Gegen auBer der Lauteinheit LEI noch weitere Lauteinheiten LE1-1, LEI -2, 
LE1-3 und LEI -4 mh gegenuber Lauteinheit LEI hoherem K ntextgrad innerhalb dieses vorgebbaren Bereichs. 
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Fur jede dieser Lauteinheiten LE1-1, LEI -2, LEI -3 und LEI -4 wird jeweQs die Distanz berechnet. Aus den 
resultierenden Distanzen dl-1, dl-2, dl-3 und dl-4 wird das Minimum berechnet (wieder nach Gleichung (9)). 
Das Verfahren kann f rtgesetzt iteriert w rden, indem um das ausgewahlte Minimum dl-4 wieder em vorgebba- 
rer Bereich bestimmt wird und innerhalb dieses Bereichs Distanzen zu Lauteinheiten mit hoherem Kontextgrad 
als die Lauteinheit LEI -4 berechnet werden, 
Uteratun 
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Patentanspruche 

1. Verfahren zur Spracherkennung durch einen Rechner, 

a) bei dem ein Sprachsignal mit einer vorgebbaren Taktrate digitalisiert wird, 

b) bei dem das dighalisierte Sprachsignal zu je einem Abtastzekpunkt, der durch die Taktrate festge- 
legt ist, in einen Merkmalsvektor abgebDdet wird, 

c) bei dem erste Abstande des Merkmalsvektors zu erst en Mustervektoren ennitteh werden, wobei die 
Mustervektoren jeweOs eine kleinste unterscheidbare Lauteinheit mit einem vorgebbaren Kontext- 
grad, der angibt, wie weit der Kontext einer Lauteinheit reicht, darsteDen, 

d) bei dem ein erstes Minimum der ersten Abstande ausgewahlt wird, 

e) bei dem um das erste Minimum ein vorgebbarer Bereidi ausgewahlt wird und in diesem Bereich 
zweite Abstande des Merkmalsvektors von zweiten Mustervektoren, die jeweOs Lauteinheiten mh 
gegenuber den kleinsten unterscheidbaren Lauteinheiten hoherem Kontextgrad darsteHen, bestimmt 
werden, 

f) bei dem ein zweites Minimum der zweiten Abstande ausgewahlt wird, 

g) bei dem der Merkmalsvektor durch die uber das zweite Minimum erreichbare Lauteinheit klassihV 
ziert wird oder, falls eine genauere Klassifikation erforderlich ist, das zweite Minimum als das erste 
Minimum angenommen und mit Schritt e) f ortgefahren wird, 

b) bei dem aus zusammengesetzten klassifizierten Lauteinheiten Sprache erkannt wird. 

2. Verfahren nach Anspruch 1, bei dem im Schritt e) fur die zweiten Mustervektoren der nichsthdhere 
Kontextgrad gegenuber den ersten Mustervektoren ausgewahh wird. 

X Verfahren nach Anspruch 1 oder 2, bet dem die ersten Mustervektoren kontextunabhSngige Enhdten mit 
dem Kontextgrad 1 darsteHen. 

4. Verfahren nach einem der Anspruche 1 bis 3, bei dem als Mustervektoren Phoneme einer Sprache 
verwendet werden. 

5. Verfahren nach einem der Anspruche 1 bis 3, bet dem als Mustervektoren Triphone einer Spradte 
verwendet werden. 

6. Verfahren nach einem der Anspruche 1 bis 3, bei dem als Mustervektoren Quinphone einer Sprache 
verwendet werden, 
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